Freelance Databricks Consultant

Intro

Voor een uitdagend data-engineeringproject binnen een modern Databricks-ecosysteem zijn we op zoek naar een Freelance Data Engineer. Met jouw expertise in Azure en Databricks neem je een sleutelrol op in de verdere professionalisering van het platform.

Taken

• Ontwerpen, bouwen en optimaliseren van end-to-end data pipelines binnen Azure Databricks.
• Modelleren, transformeren en structureren van data volgens best practices (Delta Lake, medallion architecture, …).
• Integreren van diverse databronnen via Azure-services (ADF, Azure Functions, Event Hub, …).
• Automatiseren en monitoren van data workflows en jobs.
• Meewerken aan het opzetten van CI/CD-processen voor data-producten.
• Samenwerken met het team om data-kwaliteit, betrouwbaarheid en schaalbaarheid te waarborgen.
• Adviseren rond architectuur en technische beslissingen binnen het Databricks-platform.

Requirements

• Minstens 4-5 jaar ervaring
• Nederlandstalig (vloeiend NL is vereist).
• Sterke kennis van Azure Data Services en Databricks (Spark, Delta Lake, notebooks, clusters, …).
• Ervaring met Python of Scala in een big-data context.
• Kennis van CI/CD en DevOps-principes (Azure DevOps, Git).
• Ervaring met datamodellering, ETL/ELT-processen en dataplatform-architectuur.
• Beschikbaar 2 à 3 dagen per week in Gent.